SERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learning
SERO：从可执行 Oracle 续推中学习长时程智能体强化学习
🧭 长时程 Agent RL 的可执行 oracle 续推训练 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University · Tongji University
将训练期 oracle 多步续推作为辅助监督，并用前缀可达性权重控制离策略深度，提升长时程 Agent RL 的 OOD 表现。
📌 工作参考价值（4 点）
- 在多轮会话型业务（导购/搜索/推荐 Agent）中，可维护训练期 oracle（强规则、大模型或人工策略），从线上策略实际到达的状态恢复环境并执行后续 oracle 动作，把整条“可执行分支”而非单步纠正作为 SFT/RL 辅助监督；推理时完全移除 oracle，不增加线上成本。
- 引入 policy-reachability weighting：用冻结策略对 oracle 前缀的 likelihood 乘积衰减深层监督，避免在策略不兼容的深度离策略状态上乱学；随策略提升自动延长有效监督 horizon。可迁移到多步推荐/对话策略蒸馏，对 OOD 流量更稳。
- 将 oracle 辅助 loss 与 base RL 解耦：不改动 reward/advantage/importance ratio，降低与现有 credit assignment 方法（如 GRPO、GraphGPO）的集成成本，业务上可作为插件式模块，关掉 λ_O 即可回退到原方法。
- 如果业务环境支持状态快照恢复，可构造 counterfactual 续推数据用于诊断和训练；若不支持，也可用真实日志回放近似，但需注意状态-环境一致性。